【历年IJCAI论文下载 && 论文速递】无数据对抗蒸馏、垂直联合、预训练微调范式图神经网络（GNN）

引言

  今天给大家继续肝三篇来自IJCAI2022的图神经网络（GNN）文章：「无数据对抗蒸馏图神经网络(DFAD-GNN)、垂直联合图神经网络(VFGNN)、预训练微调范式(GTOT-Tuning)」 ，同样 IJCAI2016-IJCAI2022 论文下载列表如下与大家分享。

下载方式后台回复：IJCAI2022

无数据对抗KD(DFAD-GNN)

  图神经网络(GNNs)由于其在广泛的实际应用中令人印象深刻的性能，被广泛应用于图结构数据的建模中。近年来，gnn的知识蒸馏(KD)技术在图模型压缩和知识转移方面取得了显著进展。然而，现有的「KD方法大多需要大量的真实数据，而这些数据在实践中并不容易获得」，并且可能会妨碍它们在教师模型训练稀有或难以获取的数据集的场景中的适用性。  为了解决这个问题，本文提出了第一个基于图结构数据的无数据对抗知识蒸馏(DFAD-GNN)的端到端框架,如上图所示。具体来说，「DFAD-GNN包含一个生成器和两个鉴别器:一个固定的鉴别器是预训练的教师模型，另一个是要学习的紧凑学生模型。生成器生成图形，以帮助将老师模型的知识传递给学生模型」。与之前的工作不同，本文的生成器可以充分利用预训练教师模型的固有统计数据和学生模型的可定制信息，这有助于生成高质量和多样化的训练数据，以提高学生模型的可泛化性。

实验快照

  在六个数据集上测试准确度(%)。其中：GIN-5-128表示具有128个隐藏单元的5层GIN。(6.7%×m)在学生模型下是指学生模型参数占教师模型参数的百分比，m 是教师模型参数的个数。DFADGNN下的(90.8%×t)表示学生模型准确率与教师模型准确率的百分比，t为对应教师网络的准确率。

垂直联合图神经网络(VFGNN)

  图神经网络（GNN）在图数据的各种实际任务中取得了显着进展。高性能的 GNN 模型总是依赖于图中丰富的特征和完整的边缘信息。但是，这些信息在实践中可能会被不同的数据持有者隔离，这就是所谓的数据隔离问题。

  「针对数据隔离问题，本文中提出了垂直联合图神经网络（VFGNN）」，其网络架构图如下所示。这是一种在数据垂直分区设置下，用于隐私保护节点分类任务的联合 GNN 学习范式，该学习范式可以推广到现有的 GNN 模型。在三个基准上进行了实验，结果证明了 VFGNN 的有效性。

  受拆分学习现有工作的启发，出于隐私和效率的考虑，我们将 GNN 的计算图分为两部分，即由数据持有者进行的私有数据相关计算和由Semi-honest服务器进行的非私有数据相关计算。具体来说：

  (1)数据持有者首先应用 MPC 技术，使用私有节点特征信息协同计算 GNN 的初始层，作为特征提取模块，然后使用私有边缘信息单独执行邻域聚合，类似于现有的 GNN，最后获取本地节点嵌入。

  (2)接下来，为Semi-honest服务器提出了不同的组合策略，将来自数据持有者的本地节点嵌入与生成全局节点嵌入相结合，在此基础上服务器可以进行连续的非私有数据相关的计算。  (3)最后，服务器将最终的隐藏层返回给有标签的一方来计算预测和损失。数据持有者和服务器执行前向/反向传播以完成模型训练和预测，在此期间私有数据（即特征、边缘和标签）始终由数据持有者自己保存。此外，我们对服务器和数据持有者之间交换的信息采用差分隐私，以进一步保护服务器潜在的信息泄露。

实验快照

  三个数据集的比较结果如下所示：

预训练微调范式(GTOT-Tuning)

  最近，预训练微调范式在图学习社区中引起了大量关注，因为它能够缓解许多实际应用中缺乏标签的问题。目前的研究使用现有的技术，如权重约束、表示约束，「这些技术来源于图像或文本数据，将不变知识从预训练阶段转移到微调阶段。然而，这些方法未能保留图结构和图神经网络 (GNN) 样式模型的不变性」。

  本文提出了一种新的基于最优传输的微调框架，称为 GTOT-Tuning(图拓扑引导的最优传输微调)，应用于GNN网络框架模型架构如下图所示。  GTOT-Tuning 需要利用图数据的特性来增强对微调网络产生表示的维持效果。为了实现这一目标，「本文将图局部知识转移描述为一个具有结构先验的最优传输(OT)问题，并构建 GTOT 正则化器以约束微调模型行为。通过利用节点之间的邻接关系，GTOT 正则化器实现了节点级的最优传输过程并减少了冗余传输过程，从而实现了预训练模型的有效知识转移」。

实验快照

GTOT-Tuning 在 8 个具有各种 GNN 主干网络的下游任务上的性能，结果对比：

推荐阅读

点击下方链接🔗关注我们‍

「资料整理不易，点个赞、再看吧」